Spatio-Temporal Neural Networks for Space-Time Series Forecasting and Relations Discovery

International audienceWe introduce a dynamical spatio-temporal model formalized as a recurrent neural network for forecasting time series of spatial processes, i.e. series of observations sharing temporal and spatial dependencies. The model learns these dependencies through a structured latent dynamical component, while a decoder predicts the observations from the latent representations. We consider several variants of this model, corresponding to different prior hypothesis about the spatial relations between the series. The model is evaluated and compared to state-of-the-art baselines, on a variety of forecasting problems representative of different application areas: epidemiology, geo-spatial statistics and car-traffic prediction. Besides these evaluations, we also describe experiments showing the ability of this approach to extract relevant spatial relations

Inférence et prédiction de représentations dynamiques pour les données temporelles structurées

Temporal data constitute a large part of data collected digitally. Predicting their next values is an important and challenging task in domains such as climatology, optimal control, or natural language processing. Standard statistical methods are based on linear models and are often limited to low dimensional data. We instead use deep learning methods capable of handling high dimensional structured data and leverage large quantities of examples. In this thesis, we are interested in latent variable models. Contrary to autoregressive models that directly use past data to perform prediction, latent models infer low dimensional vectorial representations of data on which prediction is performed. Latent vectorial spaces allow us to learn dynamic models that are able to generate high-dimensional and structured data. First, we propose a structured latent model for spatio-temporal data forecasting. Given a set of spatial locations where data such as weather or traffic are collected, we infer latent variables for each location and use spatial structure in the dynamic function. The model is also able to discover correlations between series without prior spatial information. Next, we focus on predicting data distributions, rather than point estimates. We propose a model that generates latent variables used to condition a generative model. Text data are used to evaluate the model on diachronic language modeling. Finally, we propose a stochastic prediction model. It uses the first values of sequences to generate several possible futures. Here, the generative model is not conditioned to an absolute epoch, but to a sequence. The model is applied to stochastic video prediction.Les données temporelles constituent une partie importante des données digitales. Prévoir leurs prochaines valeurs est une tâche importante et difficile. Les méthodes statistiques standard sont fondées sur des modèles linéaires souvent limitées aux données de faible dimension. Ici, nous utilisons plutôt des méthodes d'apprentissage profond capables de traiter des données structurées en haute dimension. Dans cette thèse, nous nous intéressons aux modèles à variables latentes. Contrairement aux modèles auto-régressifs qui utilisent directement des données passées pour effectuer des prédictions, les modèles latents infèrent des représentations vectorielles qui sont ensuite prédites. Nous proposons d'abord un modèle latent structuré pour la prévision de données spatio-temporelles. Des variables latentes sont inférés à partir d'un ensemble de points dans l'espace où des données sont collectées (météo, trafic). Ensuite, la structure spatiale est utilisée dans la fonction dynamique. Le modèle est également capable de découvrir des corrélations entre des séries sans information spatiale préalable. Ensuite, nous nous intéressons à la prédiction des distributions de données. Nous proposons un modèle qui génère des variables latentes utilisées pour conditionner un modèle génératif. Les données textuelles sont utilisées pour évaluer le modèle sur la modélisation diachronique du langage. Enfin, nous proposons un modèle de prédiction stochastique. Il utilise les premières valeurs des séquences pour générer plusieurs futurs possibles. Ici, le modèle génératif n'est pas conditionné à une époque absolue, mais à une séquence. Le modèle est appliqué à la prédiction vidéo stochastique

Apprentissage de l'évolution langagière dans des communautés d'auteurs

International audienceLes modèles de langue sont au coeur de nombreux de travaux, notamment dans les domaines de la recherche d'information et de la fouille de texte. Plutôt qu'une analyse fine de la sémantique des textes, ces modèles statistiques visent à extraire des distributions d'occurrence de mots dans différents contextes. Divers types d'approches ont été proposés dans la littérature, du simple modèle multinomial unigramme à des modèles à variables latentes pour la prise en compte de dépendances complexes dans les textes. Néanmoins, peu de travaux se sont portés sur la prise en compte conjointe des dépendances structurelles et temporelles dans des distributions de textes observés au cours du temps. Nous établissons ici un modèle dynamique de l'évolution langagière d'une communauté d'auteurs. En apprenant un modèle neuronal d'évolution sur des ensembles de textes produits par différents auteurs d'une communauté à différents instants, nous sommes capables d'en exploiter les dépendances latentes à des fins de prédiction des publications à venir

Learning Dynamic Author Representations with Temporal Language Models

International audienceLanguage models are at the heart of numerous works, notably in the text mining and information retrieval communities. These statistical models aim at extracting word distributions, from simple unigram models to recurrent approaches with latent variables that capture subtle dependencies in texts. However, those models are learned from word sequences only, and authors' identities, as well as publication dates, are seldom considered. We propose a neural model, based on recurrent language modeling, which aims at capturing language diffusion tendencies in author communities through time. By conditioning language models with author and temporal vector states, we are able to leverage the latent dependencies between the text contexts. This allows us to beat several temporal and non-temporal language baselines on two real-world corpora, and to learn meaningful author representations that vary through time

Spatio-temporal neural networks for space-time data modeling and relation discovery

International audienceWe introduce a dynamical spatio-temporal model formalized as a recurrent neural network for modeling time series of spatial processes, i.e. series of observations sharing temporal and spatial dependencies. The model learns these dependencies through a structured latent dynamical component, while a decoder predicts the observations from the latent representations. We consider several variants of this model, corresponding to different prior hypothesis about the spatial relations between the series. The model is used for the tasks of forecasting and data imputation. It is evaluated and compared to state-of-the-art baselines, on a variety of forecasting and imputation problems representative of different application areas: epidemiology, geo-spatial statistics and car-traffic prediction. The experiments also show that this approach is able to learn relevant spatial relations without prior information